Huyện Krông Nô được thành lập vào ngày 9 tháng 11 năm 1987 trên cơ sở tách 3 xã: Đắk Rồ, Nam Đà, Nam Nung thuộc huyện Đắk Mil; 2 xã: Đức Xuyên, Quảng Phú thuộc huyện Đắk Nông và xã Nam Ka thuộc huyện Lắk. Khi mới thành lập, huyện trực thuộc tỉnh Đắk Lắk.

Khi mới thành lập, huyện có 6 xã: Đắk Rồ, Đức Xuyên, Nam Đà, Nam Ka, Nam Nung, Quảng Phú.

Trong giai đoạn 1988-1994, huyện thành lập thêm 4 xã: Đắk Mâm, Đắk Nang, Đắk Sôr, Ea R'bin.

Ngày 18 tháng 11 năm 1996, thành lập xã Buôn Choáh trên cơ sở 5.250 ha diện tích tự nhiên và 2.450 người của xã Nam Đà.[3]

Ngày 27 tháng 7 năm 1999, chuyển xã Đắk Mâm thành thị trấn Đắk Mâm, thị trấn huyện lỵ huyện Krông Nô.[4]

Ngày 29 tháng 8 năm 2003, chia xã Nam Nung thành 2 xã: Nâm Nung và Nâm N'Đir.[5]

Từ đó, huyện Krông Nô có thị trấn Đắk Mâm và 11 xã: Buôn Choáh, Đắk Nang, Đắk Rồ, Đắk Sôr, Đức Xuyên, Ea R'bin, Nam Đà, Nam Ka, Mâm N'Đir, Nâm Nung, Quảng Phú.

Ngày 26 tháng 11 năm 2003, Quốc hội ban hành Nghị quyết 22/2003/QH11 chia tỉnh Đắk Lắk thành hai tỉnh Đắk Lắk và Đắk Nông[6]. Theo đó, phần lớn địa bàn huyện Krông Nô thuộc tỉnh Đắk Nông, riêng 2 xã Ea R'bin và Nam Ka thuộc địa giới hành chính tỉnh Đắk Lắk và được sáp nhập vào huyện Lắk.

Huyện còn lại 81.680 ha diện tích tự nhiên và 51.086 người với 10 đơn vị hành chính trực thuộc, gồm 1 thị trấn và 9 xã.[7]

Ngày 6 tháng 6 năm 2005, chia xã Đắk Rồ thành 2 xã: Tân Thành và Đắk Drô.[8]

Ngày 18 tháng 10 năm 2007, thành lập xã Nam Xuân trên cơ sở điều chỉnh 2.394 ha diện tích tự nhiên và 6.687 người của xã Đắk Sôr; 619 ha diện tích tự nhiên của xã Nam Đà.[2]

Huyện Krông Nô có 1 thị trấn và 11 xã như hiện nay.

Ngày 1 tháng 2 năm 2021, điều chỉnh địa giới hành chính thị trấn Đắk Mâm và các xã Nam Xuân, Tân Thành.[9]